MERGE: Multi-LLM Ensemble for Retrieval via Generative Enrichment
MERGE：生成式增强的多LLM检索集成
🧭 生成式查询扩展 · 多LLM集成 ★ 深度解读
University of Waterloo · National Taiwan University · Rakuten Group, Inc. · Rakuten Asia Pte. Ltd. · Taiwan Rakuten Ichiba, Inc.
两阶段多LLM查询扩展框架，用任务驱动自动提示优化在BM25上实现最高+14.9 nDCG@10提升
📌 工作参考价值（4 点）
- 电商搜索中，买家口语化 query 与商品标题/属性词之间常有词汇 gap，可借鉴 MERGE 两阶段设计：多个异构小模型各自扩展候选，再用稍大模型融合成一条查询，无需改语料或重建索引，可直接接入现有 BM25/Elasticsearch 流程。
- 用下游检索指标（如 nDCG@10、点击率或相关性人工评估）代替 LLM judge 做 prompt 优化，在 20% dev 子集上跑小 tournament，能自动把「seed prompt 可能削弱检索」转为稳定收益；适合快速迭代新模型或新增 generator 时免去手工 prompt 调优。
- APO 收敛后的 prompt 可能不是自然语言、读起来像 token 包，但它生成的 query 可读性没问题，不影响线上使用；可接受这种 prompt 形态，重点看最终 query 质量。
- 输出是 plain text query，只做一次 BM25/ES 检索，没有 rank fusion 和重索引开销；既能 query-time 在线扩召回，也能离线作为训练数据增强供 dense retriever 使用。